ブログ
Memsourceは初めてですか？
機械翻訳（MT）は驚くべき進歩を遂げています。ニューラル機械翻訳は、品質と流暢さの点で先導し、新たな高みに到達しています。しかし、組織がMTを使い始めるまでには予想以上に時間がかかっています。この主な理由の1つは、MTの技術革新にもかかわらず、MTの品質は依然として予測不可能であることです。MTの品質を予想することができるということは、大規模なMTの採用において欠けている鍵のようです。
昨年、Memsource AIチームはこの問題への取り組みに着手しました。
アイデア
Memsourceの社内AIチームが、ローカライゼーションの専門家達が毎日直面する問題を解決するために機械学習を使用することを目的として作成されました。
「私たち早い段階からは当社ユーザー達の取り組みをより効率化させる上で機械学習が役に立つ分野を模索してきました。そして、機械学習に関するユーザー達の課題を考慮すると、開始するタイミングとしては素晴らしいと思われるのです。」とMemsourceのAIチームの責任者であるAles Tamchynaは述べます。
MTを使用するときは、出力が高品質になるのか、それとも完全に逆になるのかわかりません。この情報がないと、機械翻訳がプロジェクトに適しているかどうか、またどれだけの修正が必要かを簡単かつ迅速に判断するのは困難です。
Tamchyna氏は、次のように語っています。「MT品質予測に関するプロジェクトの追求を行うことを決定する上で私たちの役に立ったのが、高品質のMTが本当に専門的な翻訳の速度を上げるということを知ることでした。」
下記のグラフにおけるデータはMTがより優れているとより速くリンギスト(翻訳者)が最終翻訳を進捗するということを示しています。「それは素晴らしく、線形傾向です。」とTamchyna氏は加えました。「MTの品質が約60になったときに、すでに利益が出ています。翻訳の最初からこの品質情報を提供することができれば、MTのポストエディットをより素早くすることができるだけでなく、プロジェクトの見積もりをより正確にすることができるだろう。」と私たちは考えました。
.png)
AIチームは、MTのポストエディットが使用された過去の翻訳のデータを持っていました。次のステップは、それをユーザーにとって意味のあるものに変えることでした。
開発プロセスには、多くの探索的作業と予備実験を含む多くのやり取りが含まれていましたが、そこには3つの主な段階がありました。
- 大まかなニューラルネットワーク構造とデータプロセスを含むトレーニングプロセスを確立すること
- MTQEカテゴリのさまざまな設定を試し、さまざまな方法でネットワークを調整することです。AIチームは、最高のパフォーマンスだけでなく、計算的効率にも関心を持っていました。結局、チームは予測力を犠牲にすることなく非常に効率的なモデルを獲得しました。
- プロトタイプを実動対応システムに変え、サポートされているすべての言語ペアについてモデルの最終バージョンをトレーニングしていきます。
ソリューション：機械翻訳品質評価（MTQE）
Memsourceの機械翻訳品質評価機能のベータ版では、すべての開発とトレーニングが最高潮となりました。
これがそのような独自の機能であることを考えると、最初のバージョンでは試行錯誤が必要でした。「MTQEバージョン1は、完全およびほぼ完全な機械翻訳の出力に焦点を当てていました。機械翻訳は短いセグメントに最適な結果を提供するため、MTQEの早期導入者から聞いたように、MTQEの結果の大部分は短いセグメントに対するものばかりでした。」とTamchynaは述べています。
私たちのMTQEフィードバックウェビナーが示すように、多くの肯定的なフィードバックがありましたが、MTQEを試した人々の意見から、評価を取れる範囲が狭すぎることが明らかになりました。そこで、AIチームは、評価がより多くのコンテンツを網羅できるようにする方法を見つけることを決めました。
「MTQEの2番目のバージョンは、再設計されたAIモデルと新しいニューラルネットワーク構造に基づいています」とTamchyna氏は述べています。「私たちは多くのアプローチを評価し、おそらく数百の実験を実行しました。最終的には、MTQEをもっと堅牢にしたいと考えました。」
MTQEの2番目のバージョンの初期テストでは、特定の言語ペアについて、品質スコアがバージョン1の4倍の最大60％のセグメントで利用可能であることを示しています。これはポストエディットのコストの最大10％の削減に相当します。
最新バージョンのMTQE機能は、Memsourceでサポートされている30種類以上のMTエンジンのいずれか、および92種類の言語ペアで使用できます。現在、MTQEバージョン2はまだ機能をテストし、ユーザーからのフィードバックを集めているのでまだベータ版です。
下記は評価カテゴリーです：
100% MT
完璧なMT出力で多くの場合ポストエディットが不要
99% MT
ほぼ完璧なMT出力でポストエディットが必要となるのはおおよそはフォーマットや句読点の小さな問題です
75% MT
高品質なMT出力でポストエディットを行うに値します
評価なし
スコアがない場合は、MTの出力が低品質である可能性が非常に高いです。一般に、この出力はポストエディットしないで参照用にのみ使用することをお勧めします。
MTQEの設定方法と使い方を学習しましょう。
下のグラフは、Memsourceで使用されている上位8つの言語ペアのMTQE評価の範囲を示しています。
「MTQEデータを最初から利用できるようになったため、ユーザーはMTを使用するのが妥当かどうか、ポストエディットで節約できる可能性があるものは何か、MTをポストエディットするか最初から翻訳するかどちらが速いかを判断できます。」とTamchyna氏は付け加えました。
未来
Memsource AIチームにとって、MTQEは機械翻訳とAIを組み合わせることで可能になることのほんの始まりに過ぎません。そしてチームはパイプラインにもっと多くのアイデアを持っています。
「全体的に見て、MTエンジンの使用がさらに合理化されることを期待しています」とTamchyna氏は述べております。翻訳プラットフォームは、与えられたコンテンツに最も適したエンジンを自動的に選択し、機械翻訳が終了したら、翻訳の品質を評価する必要があります。機械翻訳と翻訳メモリや用語ベースなどのカスタムリソースとの統合も強化されると思います。楽しみにするべきエキサイティングな機能がたくさんあります - いくつかはすぐに発表されるでしょう。 」
